Từ thời nhà Lý, dưới đời vua Lý Nhân Tông, quốc sư Nguyễn Minh Không xây dựng một ngôi chùa thờ Phật dưới chân núi Dục Thúy Sơn về phía Đông. Chùa được xây bằng đá, mái cong rồng lượn và đã xuất hiện tháp là nơi thờ Phật. Trong tháp đặt một tượng Phật chính và một số tượng phụ.

Sang thế kỷ XIII, tháp được tách ra, thành hai kiến trúc riêng: chùa và tháp. Tháp không còn là chùa mà trở thành mộ sư. Chính vì vậy, đến đời Trần, tháp Linh Tế đổ vỡ. Đến năm 1337 thời vua Trần Hiến Tông, tháp Linh Tế được khởi công xây dựng lại. Người đứng lên chủ trì việc xây dựng tháp là nhà sư Trí Nhu (người phủ Tràng An, châu Đại Hoàng - tức là người Ninh Bình). Khi đang giữ chức Tả ty Lang trung, Tả giám Nghị đại phu, Trương Hán Siêu đã viết bài "Dục Thúy sơn Linh Tế tháp ký" (Bài ký tháp Linh Tế ở núi Dục Thúy), nhân việc tháp Linh Tế xây dựng lại xong. Trong bài ký đó, Trương Hán Siêu đã cho biết tháp Linh Tế xây dựng lại cao 4 tầng: "Tháp xây 4 tầng, đêm tỏa hào quang, kẻ xa người gần đều trông thấy rõ".

Cuối thời Hậu Lê tháp Linh Tế bị đổ vỡ. Điều này đã được Phạm Đình Hồ viết trong sách "Tam thương ngẫu lục": "Sau khi vạc đổi, Cung bỏ làm trường lương Tràng An, tháp Linh Tế cũng đổ nát".

Chùa có hai cổng, một cổng ra vào ở phía bắc, một cổng ở phía đông nam nhìn ra sông Đáy và đây cũng là cổng để nhiều người ra thả cá chép vào ngày ông táo chầu trời.

Từ sân chùa Non Nước bên sông Đáy, có thể hướng ra cầu Ninh Bình, cầu Non Nước và cuộc sống của cư dân trên sông Đáy.[1]

Năm 2006, chùa đã được trùng tu lại và khánh thành mới nhung vẫn giữ được vẻ thiêng liêng, trầm mặc.[2]

Mỗi năm chùa Non Nước đón hàng nghìn lượt khách du lịch trong nước và quốc tế về tham quan, chiêm bái. Từ chùa phóng tầm mắt ra xa, sẽ được chiêm ngưỡng cảnh sắc thanh bình, yên ả của làng quê Việt Nam.